{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Phystech@DataScience\n",
"## Домашнее задание 3\n",
"\n",
"**Правила, прочитайте внимательно:**\n",
"\n",
"* Выполненную работу нужно отправить телеграм-боту `@thetahat_ds25_bot`. Для начала работы с ботом каждый раз отправляйте `/start`. Дождитесь подтверждения от бота, что он принял файл. Если подтверждения нет, то что-то не так. **Работы, присланные иным способом, не принимаются.**\n",
"* Дедлайн см. в боте. После дедлайна работы не принимаются кроме случаев наличия уважительной причины.\n",
"* Прислать нужно **ноутбук в формате `ipynb`**. Если вы строите интерактивные графики, их стоит прислать в формате html.\n",
"* Следите за размером файлов. **Бот не может принимать файлы весом более 20 Мб.** Если файл получается больше, заранее разделите его на несколько.\n",
"* Выполнять задание необходимо полностью самостоятельно. **При обнаружении списывания всем участникам списывания дается штраф -2 балла к итоговой оценке за семестр.**\n",
"* Решения, размещенные на каких-либо интернет-ресурсах, не принимаются. Кроме того, публикация решения в открытом доступе может быть приравнена к предоставлении возможности списать.\n",
"* Обратите внимание на правила использования ИИ-инструментов при решении домашнего задания.\n",
"* **Код из рассказанных на занятиях ноутбуков** можно использовать без ограничений.\n",
"* Для выполнения задания используйте этот ноутбук в качестве основы, ничего не удаляя из него. Можно добавлять необходимое количество ячеек.\n",
"* Комментарии к решению пишите в markdown-ячейках.\n",
"* Выполнение задания (ход решения, выводы и пр.) должно быть осуществлено на русском языке.\n",
"* Решение проверяется системой ИИ-проверки ![](\"https://miptstats.github.io/theta_grader_small.png\")
**ThetaGrader**. Результат проверки валидируется и исправляется человеком, после чего комментарии отправляются студентам.\n",
"* Если код будет не понятен проверяющему, оценка может быть снижена.\n",
"* Никакой код из данного задания при проверке запускаться не будет. *Если код студента не выполнен, недописан и т.д., то он не оценивается.*\n",
"\n",
"Важно!!! Правила заполнения ноутбука:\n",
"* Запрещается удалять имеющиеся в ноутбуке ячейки, менять местами положения задач.\n",
"* Сохраняйте естественный линейный порядок повествования в ноутбуке сверху-вниз.\n",
"* Отвечайте на вопросы, а также добавляйте новые ячейки в предложенных местах, которые обозначены `<...>`.\n",
"* В markdown-ячейка, содержащих описание задачи, находятся специальные отметки, которые запрещается модифицировать.\n",
"* При нарушении данных правил работа может получить 0 баллов.\n",
"\n",
"\n",
"**Перед выполнением задания посмотрите презентацию по выполнению и оформлению домашних заданий с занятия 2.**\n",
"\n",
"\n",
"**Баллы за задание:**\n",
"\n",
"\n",
"* Задача 1 — 40 баллов\n",
"* Задача 2 — 70 баллов\n",
"* Задача 3 — 20 баллов\n",
"\n",
"\n",
"\n",
"\n",
"\n",
"\n",
"\n",
"\n",
"-----"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"# Bot check\n",
"\n",
"# HW_ID: phds_hw3\n",
"# Бот проверит этот ID и предупредит, если случайно сдать что-то не то\n",
"\n",
"# Status: not final\n",
"# Перед отправкой в финальном решении удали \"not\" в строчке выше\n",
"# Так бот проверит, что ты отправляешь финальную версию, а не промежуточную"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"import pandas as pd\n",
"import numpy as np\n",
"import matplotlib.pyplot as plt\n",
"from sklearn.preprocessing import StandardScaler\n",
"from sklearn.linear_model import LogisticRegression, LinearRegression\n",
"from sklearn.metrics import accuracy_score, balanced_accuracy_score\n",
"\n",
"from typing import List, Callable, Tuple\n",
"\n",
"import seaborn as sns\n",
"sns.set_theme('notebook', font_scale=1.2, palette='Set2')\n",
"\n",
"from tqdm.notebook import tqdm"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Задача 1\n",
"\n",
"Рассмотрим модель логистической регрессии. Признаки объекта представимы в виде $d$-мерного вектора $x \\in \\mathbb{R}^d$, класс имеет бернуллиевское распределение $Y \\sim Bern(\\mu_\\theta(x))$. Мы делаем следующее предположение о зависимости параметра вероятности от признаков\n",
"$${\\mu_\\theta(x) = \\sigma(x^T\\theta)= \\cfrac{1}{1 + e^{-x^T\\theta}}}.$$\n",
"\n",
"При добавлении регуляризации к модели логистической регрессии оптимизируемый функционал принимает вид\n",
"\n",
"$$\n",
" F(\\theta) = -\\sum_{i=1}^n \\left[Y_i \\log{\\sigma(\\theta^T x_i)} + (1 - Y_i) \\log{\\left(1 - \\sigma(\\theta^T x_i)\\right)}\\right] + \\lambda\\theta^T \\theta\n",
"$$\n",
"\n",
"1. Выпишите формулы градиентного спуска (GD) и стохастического градиентного спуска (SGD).\n",
"\n",
"2. Покажите, что $F(\\theta)$ — выпуклая функция по $\\theta$ и, как следствие, имеет единственный экстремум, являющийся глобальным максимумом. *Указание*. Посчитайте гессиан (матрицу вторых производных) и покажите, что она положительно определена.\n",
"\n",
"3. Опишите, как может вести себя решение при отсутствии регуляризации, то есть при $\\lambda = 0$"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "CU79yNBgUkD3"
},
"source": [
"## Задача 2"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "skMe0N4wXutl"
},
"source": [
"### Введение\n",
"\n",
"Вы когда-нибудь задумывались, что такое запах и вкус? Как именно мы различаем запахи? Ведь это даже не физическая величина: наш нос не измеряет концентрацию примесей в воздухе, их парциальное давление или что-то ещё. Запах — есть субъективная реакция мозга на химическое взаимодействие молекул с рецепторами в слизистой оболочке носа.\n",
"\n",
"Рассмотрим, на первый взгляд, забавное устройство — [электронный нос](https://en.wikipedia.org/wiki/Electronic_nose) (*e-nose*). Этот \"прибор\", буквально, повторяет принцип работы человеческого носа и состоит из трёх основных компонентов:\n",
"1. Массив датчиков, чувствительных к наличию различных примесей в газе\n",
"2. Канал доставки, по которому газ поступает к датчикам\n",
"3. Система обработки данных, анализирующая сигналы от датчиков и сопоставляющая их с известными шаблонами. Если запах уже \"знаком\" системе, она может его распознать"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "qckjxZw1Xwrh"
},
"source": [
"\n",
"\n",
"*Картинка из Википедии*"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "QiP8kVz5XBw8"
},
"source": [
"\n",
"Спектр возможных применений подобных устройств может быть весьма широк: от контроля качества скоропортящихся продуктов до обнаружения взрывчатых веществ, вирусов, бактерий или токсичных газов.\n",
"\n",
"Сами сенсоры бывают разными. Наиболее современные разработки основаны на технологиях с применением графена и углеродных нанотрубок. Более доступной, но достаточно эффективной альтернативой являются полупроводниковые сенсоры на основе оксидов металлов. Их принцип работы основан на изменении проводимости при адсорбции молекул газа на поверхности датчика. Измеряя сопротивление таких сенсоров, можно определить состав и даже концентрацию примесей в воздухе."
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "bgvKbmOSWr6W"
},
"source": [
"### Проблема\n",
"Одной из самых сложных проблем в этой области считается дрейф сигнала датчиков. Он возникает из-за физико-химического воздействия окружающей среды: со временем на сенсоры оседают посторонние молекулы, изменяя структуру и свойства материала. Системе обработки становится всё сложнее анализировать данные, поскольку она откалибрована (обучена) на свежих сенсорах, без учёта дрейфа. Это, очевидно, приводит к постепенному ухудшению точности измерений.\n",
"\n",
"Для изучения этого явления был проведён долгосрочный эксперимент, в ходе которого на протяжении трёх лет фиксировались \"отпечатки запахов\" шести летучих органических соединений при различных концентрациях: *аммиака, ацетальдегида, ацетона, этилена, этанола и толуола*. Подробное описание методики, сбора данных и выделения признаков можно найти в [оригинальной статье](https://sci-hub.ru/10.1016/j.snb.2012.01.074), а также на странице с [данными](https://archive.ics.uci.edu/dataset/270/gas+sensor+array+drift+dataset+at+different+concentrations). Авторы исследования разработали и показали эффективность нового (на момент выхода статьи) способа учёта дрейфа в классификаторах газов."
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "oacGwRgvWr6W"
},
"source": [
"### [Данные](https://archive.ics.uci.edu/dataset/270/gas+sensor+array+drift+dataset+at+different+concentrations)\n",
"Исследуемый \"нос\" состоял из 16 сенсоров. Для каждого сенсора снималась зависимость изменения сопротивления от времени.\n",
"1. **Максимальное изменение сопротивления** в ходе одного измерения (абсолютное и относительное) — 2 признака\n",
"2. **Максимум/минимум экспоненциального скользящего среднего** (EMA) при разных параметрах сглаживания — 6 признаков\n",
"\n",
"\n",
" Подробнее ✍️
\n",
" \n",
"> Для последовательности временных отсчётов $r_1$, $r_2$, $r_3$... *экспоненциальное скользящее среднее* рассчитывается как\n",
"> $$\n",
" y_k = (1 - \\alpha)y_{k-1} + \\alpha(r_k - r_{k-1}),\n",
"> $$\n",
"> Параметр $\\alpha \\in (0, 1)$ определяет степень \"забывания\" старых значений: чем он меньше, тем сильнее сглаживается сигнал. В нашем случае EMA рассчитывалось отдельно для возрастающего и убывающего участков сигнала при $\\alpha = 10^{-1}, 10^{-2}, 10^{-3}$. В качестве признаков взяты, соответственно, максимальное и минимальное значения за время измерения. Подробнее см. в статье.\n",
"\n",
"
\n",
"\n",
"Итого, имеется $8 \\cdot 16 = 128$ признаков"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "ToHJKlibWHh8"
},
"source": [
"### 1. Загрузка и подготовка данных"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Js_QpPWdWr6X"
},
"source": [
"#### 1.1 Смотрим на данные\n",
"Скачайте датасет. Если открыть любой файл в текстовом редакторе, вы увидите, что данные хранятся в разреженном формате `svmlight`. Для его загрузки в `sklearn` предусмотрена специальная функция. Воспользуйтесь ей:"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "5vSDGp1MWr6X",
"outputId": "5fa7534e-8616-4ba0-b280-abf94cd10de4"
},
"outputs": [
{
"data": {
"text/plain": [
"(list, 20, scipy.sparse._csr.csr_matrix, numpy.ndarray)"
]
},
"execution_count": 53,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"from sklearn.datasets import load_svmlight_files\n",
"\n",
"file_paths = [f'batch{n}.dat' for n in range(1, 11)]\n",
"\n",
"data = <...>\n",
"\n",
"type(data), len(data), type(data[0]), type(data[1])"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Lqjvf6Z9Wr6Y"
},
"source": [
"Вы получили список из 20 элементов, в котором чередуются матрицы признаков и векторы таргета. Матрицы признаков имеют тип разреженной матрицы. Преобразуем их в `pandas.DataFrame` и присвоим осмысленные имена столбцам:"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "ZzIB-UT2Wr6Y",
"outputId": "a9a9ae8b-a3b2-47b6-a5a0-55e683721bd2"
},
"outputs": [],
"source": [
"# Формируем список имён признаков\n",
"feature_names = [\n",
" f\"{sensor}_{suffix}\"\n",
" for sensor in range(1, 17)\n",
" for suffix in [\"dR\", \"norm_dR\"] +\n",
" [f\"max_ema_{alpha}\" for alpha in [0.1, 0.01, 0.001]] +\n",
" [f\"min_ema_{alpha}\" for alpha in [0.1, 0.01, 0.001]]\n",
"]\n",
"\n",
"# Разделяем данные: X (признаки) и y (таргет)\n",
"X_raw, y_list = data[::2], data[1::2]\n",
"\n",
"# Преобразуем разреженные матрицы в DataFrame\n",
"X_list = [pd.DataFrame(X.toarray(), columns=feature_names) for X in X_raw]\n",
"\n",
"X_list[0].head()"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Ot-tBVlfWr6Y"
},
"source": [
">*Замечание.* Первое число в названии означает номер сенсора.\n",
"\n",
"**Почему данные представлены в таком виде?** Согласно описанию эксперимента, количество измерений для разных газов варьировалось от месяца к месяцу. В некоторые периоды отдельные газы вовсе не использовались. Чтобы сбалансировать распределение классов, данные сгруппировали в 10 батчей, где разные газы представлены более равномерно.\n",
"\n",
"Проверим, насколько хорошо это удалось: напишите функцию, которая визуализирует распределение классов в каждом батче, и примените её к данным.\n",
"\n",
" Подсказка ✍️
\n",
" \n",
"> Удобно воспользоваться одной из функций: `sns.countplot`, `sns.barplot`, `plt.bar`\n",
"\n",
"
\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/",
"height": 273
},
"id": "LftkTnn26XPn",
"outputId": "b60713cc-ba02-40b1-8847-713816a7731a"
},
"outputs": [],
"source": [
"def visualize_classes(target_batches: List[np.ndarray]):\n",
" \"\"\"Визуализирует распределение классов во всех батчах\n",
"\n",
" Args:\n",
" target_batches (List[np.ndarray]): список таргетов\n",
" \"\"\"\n",
" \n",
" <...>\n",
"\n",
"\n",
"visualize_classes(y_list)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "i8JqDJGoWr6Z"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "MHsF2IoHWr6Z"
},
"source": [
"Выведите количество экспериментов в каждом из батчей."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "rB_YY8dqWr6Z",
"outputId": "4a365668-d0f1-4783-cb5c-6ec50785c5da"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "Vrw4ssUjWr6Z"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "skf-j3eCWw0m"
},
"source": [
"#### 1.2 Учитываем время\n",
"Поскольку объекты нашей выборки упорядочены по времени, имеет смысл добавить признак `experiment_id`, описывающий номер эксперимента. Причём, нумерация должна быть сквозной: если последний эксперимент 1-го батча имеет номер $N$, то первый эксперимент второго батча должен иметь номер $N + 1$. Создайте этот столбец и поместите его в начало каждой таблицы с признаками:"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "j3SzZ6PmWr6Z"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "g9PWz5hfWr6Z"
},
"source": [
"Проверьте, всё ли правильно вы сделали:"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "4Z_csoXQWr6Z",
"outputId": "446c966f-7789-49a8-e332-185d44d0b388"
},
"outputs": [],
"source": [
"# Создаем списки для первой и последней строки таблицы\n",
"first_ids = [batch['experiment_id'].iloc[0] for batch in X_list]\n",
"last_ids = [batch['experiment_id'].iloc[-1] for batch in X_list]\n",
"\n",
"# Создаем DataFrame для отображения\n",
"result = pd.DataFrame(\n",
" [first_ids, last_ids],\n",
" index=['First experiment_id', 'Last experiment_id'],\n",
" columns=[f'batch {i+1}' for i in range(len(X_list))]\n",
")\n",
"\n",
"result"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Q2RmvNO2Wr6a"
},
"source": [
"#### 1.3 Определяемя с таргетом\n",
"Задачу многоклассовой классификации решать сложно. Но можно свести её к бинарному случаю. Для этого выберите один газ и обозначьте его как класс 1. Все остальные газы отнесите к классу 0.\n",
"> 📌 *Замечание.* Вместо 0 и 1 можете придумать более понятные названия."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "95p00LG0Wr6a"
},
"outputs": [],
"source": [
"gas_id = <...>\n",
"\n",
"<...>"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "W7dYr5s-Wr6a"
},
"source": [
"Такая стратегия имеет название \"One-VS-All\". При помощи написанной вами ранее функции выведите распределение новых классов по батчам:"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "_HZIDfgaWr6a",
"outputId": "aa12c345-cbec-4fbe-e4c4-8d66f6ac1893"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "QsJJoP2aDMAF"
},
"source": [
"Далее, при построении классификатора, учитывайте диcбаланс: используйте взвешенную версию логистической регрессии (см. параметр class_weight) и метрику balanced_accuracy_score для оценки качества модели. **❗Это очень важно❗**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "uSYxltLrWr6a"
},
"source": [
"#### 1.4 Что собираемся делать?\n",
"\n",
"Основное назначение этого датасета — разработка алгорима машинного обучения, способного учиывать дрейф датчиков. Авторы исследования предложили решение, основанное на построении взвешенного ансамбля линейных классификаторов.\n",
"\n",
"Мы же пока сосредоточимся на более простых вещах. В качестве **обучающей выборки** будем использовать **первый батч**, и посмотрим, как будет деградировать точность логистической регрессии с течением времени. Выделите обучающий батч и список тестовых батчей."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/",
"height": 349
},
"id": "9venGWOXzm6L",
"outputId": "734c4bea-7cf6-4fe2-ed6f-dae7c25704ac"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "ReqL3WGdWr6b"
},
"source": [
"#### 1.5 Стандартизация\n",
"Обучите `StandardScaler` на обучающем батче и преобразуйте его. Преобразуйте тестовые батчи."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "BVgF8KZZWr6b"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "jASNz2g2Wr6b"
},
"source": [
"### 2. Есть ли мультиколлинеарность?\n",
"\n",
"Хорошо ли обусловлена обучающая матрица признаков? О чём это говорит?"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "_82aOR7CWr6b",
"outputId": "d5038a02-f5c6-4471-c513-08a6cb5e2971"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "d4w1GX4JWr6b"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "AdJB9zNUWr6b"
},
"source": [
"Для наглядности, выведите матрицу корреляций. Что означают элементы матрицы? А в нашем случае?"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "zieTYPNgWr6b",
"outputId": "4eeb225f-c3c5-4ed3-da04-a6485167f066"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "KhWJi0_1Wr6c"
},
"source": [
"**Ответ:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "P3Zmg-iiWr6c"
},
"source": [
"### 3. Модельки, модельки, модельки..."
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "DR0FV7mmWr6c"
},
"source": [
"#### 3.1 Самый популярный класс\n",
"Найдите самый популярный класс в обучающем батче и посчитайте точность ответа на тестовых данных только этим классом — константой. Отличается ли взвешенная точность от обычной?"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "djpQRu0UWr6c",
"outputId": "c8516607-7f01-4408-8270-8e542f1a4df7"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "sAq-xp-aWr6f"
},
"source": [
"**Вывод:** "
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "nqZtQrhPWr6f"
},
"source": [
"#### 3.2 Модель логистической регрессии без регуляризации\n",
"\n",
"Реализуем функции для обучения, тестирования и отображения деградации метрики качества ответов модели со временем (заполните пропуски):"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "8xqOm8joWr6f"
},
"outputs": [],
"source": [
"def visualize_metric_fall(scores: List[float]):\n",
" \"\"\"Визуализирует метрику на обучающем и тестовых батчах с пострением\n",
" прямой характерного спада\n",
"\n",
" Args:\n",
" scores (List[float]): значения метрики для различных батчей\n",
" \"\"\"\n",
"\n",
" n = np.arange(len(scores) - 1)\n",
"\n",
" linreg = LinearRegression(fit_intercept=True)\n",
" linreg.fit(n.reshape(-1, 1), scores[1:])\n",
"\n",
" a, b = linreg.coef_[0], linreg.intercept_\n",
"\n",
" plt.figure(figsize=(8, 5), tight_layout=True)\n",
"\n",
" plt.plot(n, n * a + b, label=f'${a:.2f}n + {b:.2f}$')\n",
" plt.scatter(n, scores[1:], label=\"Тестовые батчи\")\n",
" plt.scatter(-1, scores[0], label='Обучающий батч')\n",
" plt.xlabel('Номер тестового батча')\n",
" plt.ylabel('Значение метрики')\n",
" plt.legend()\n",
"\n",
"\n",
"def evaluate_accuracy_decay(\n",
" model: LogisticRegression,\n",
" X_train: pd.DataFrame,\n",
" y_train: np.ndarray,\n",
" X_test_batches: List[pd.DataFrame],\n",
" y_test_batches: List[np.ndarray],\n",
" metric: Callable[[np.ndarray, np.ndarray], float],\n",
" visualize: bool = False\n",
") -> List[float]:\n",
" \"\"\"Обучает модель на X_train и y_train, тестирует на X_test_batches.\n",
" Возвращает список значений метрики на каждом тестовом батче.\n",
"\n",
" Args:\n",
" model (BaseEstimator): модель логистической регрессии sklearn\n",
" X_train (pd.DataFrame): обучающий батч (признаки)\n",
" y_train (np.ndarray): обучающий батч (таргет)\n",
" X_test_batches (List[pd.DataFrame]): тестовые батчи (признаки)\n",
" y_test_batches (List[np.ndarray]): тестовые батчи (таргет)\n",
" metric (Callable[[np.ndarray, np.ndarray], float]): метрика для оценки качества\n",
" visualize (bool): если True, визуализировать изменения метрики\n",
"\n",
" Returns:\n",
" List[float]: список значений метрики на тестовых батчах\n",
" \"\"\"\n",
" \n",
" # Обучение модели\n",
" <...>\n",
"\n",
" # На первом месте будет стоять значение метрики на обучающей выборке\n",
" scores = [metric(y_train, model.predict(X_train))]\n",
"\n",
" # Вычисляем метрику на каждом тестовом батче и добавляем в scores\n",
" <...>\n",
" \n",
"\n",
" if visualize:\n",
" visualize_metric_fall(scores)\n",
"\n",
" return scores"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "ZnAr8mPxWr6f"
},
"source": [
"Обучите классическую логистическую регрессию без регуляризации и визуализируйте точность ответа на трейне и тесте. **Свободный коэффициент необходимо исключить из модели**.\n",
"\n",
"\n",
" Подсказка ✍️
\n",
" \n",
"> Чему равен аргумент `penalty` по умолчанию?\n",
"\n",
"
"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "uldsQJfNWr6f",
"outputId": "88822c4d-51e9-4589-e7b0-6d632950442f"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "sCxpm11eWr6f"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "T5xGVz4HWr6f"
},
"source": [
"Далее выполняйте тестирование только на первом тестовом батче."
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "dEWczwxTRuky"
},
"source": [
"#### 3.2 Логистическая регрессия с регуляризацией"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "KrnG7dX3Rucu"
},
"source": [
"За что отвечает гиперпараметр `C` у класса `LogisticRegression`?"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "KOkRAHLrR6ag"
},
"source": [
"**Ответ:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "s_p3T2OUuL1T"
},
"source": [
"Вам необходимо исследовать зависимость от `C` следующих величин:\n",
"1. Accuracy на трейне\n",
"2. Accuracy на тесте\n",
"3. Коэффициенты модели\n",
"\n",
"Чтобы не приходилось постоянно обучать модели при одних и тех же сетках `C`, предлагается написать функцию, которая будет принимать на вход вид штрафа `penalty`, границы диапазона `C`, и саму выборку. На каждой итерации вычисляйте все величины и сохраняйте в виде списков. Для мониторинга времени работы используйте функцию `tqdm`. Пример использования:\n",
"\n",
"```\n",
"from tqdm.notebook import tqdm\n",
"for C in tqdm(C_grid):\n",
" <тело цикла>\n",
"```\n",
"\n",
"Не забудьте также про имеющийся дисбаланс классов."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "9lp9hyMptJvu"
},
"outputs": [],
"source": [
"def train_alpha_grid(\n",
" min_log_C: float,\n",
" max_log_C: float,\n",
" resolution: int,\n",
" X_train: pd.DataFrame,\n",
" y_train: np.ndarray,\n",
" X_test: pd.DataFrame,\n",
" y_test: np.ndarray,\n",
" penalty: str,\n",
" solver: str = 'newton-cholesky',\n",
" max_iter: int = 100\n",
") -> Tuple[np.ndarray, List[List[float]], List[float], List[float]]:\n",
" \"\"\"Обучает модель LogisticRegression для разных значений параметра регуляризации C,\n",
" сохраняет коэффициенты, вычисляет accuracy на обучающей и тестовой выборках.\n",
"\n",
" Args:\n",
" min_log_C (float): минимальное значение log10(C) для сетки.\n",
" max_log_C (float): максимальное значение log10(C) для сетки.\n",
" resolution (int): число точек на сетке C.\n",
" X_train (pd.DataFrame): обучающая выборка (признаки).\n",
" y_train (np.ndarray): отклик на обучающей выборке.\n",
" X_test (pd.DataFrame): тестовая выборка (признаки).\n",
" y_test (np.ndarray): отклик на тестовой выборке.\n",
" penalty (str): тип регуляризации ('l1', 'l2', 'elasticnet', 'none').\n",
" solver (str, optional): метод оптимизации параметров модели. По-умолчанию 'newton-cholesky'.\n",
" max_iter (int, optional): максимальное количество итераций для оптимизации. По-умолчанию 100.\n",
"\n",
" Returns:\n",
" Tuple[np.ndarray, List[List[float]], List[float], List[float]]:\n",
" - C_grid (np.ndarray): сетка значений C,\n",
" - coefs_list (List[List[float]]): список коэффициентов для каждого значения C,\n",
" - baccuracy_train_list (List[float]): список balanced accuracy на обучающей выборке для каждого значения C,\n",
" - baccuracy_test_list (List[float]): список balanced accuracy на тестовой выборке для каждого значения C.\n",
" \"\"\"\n",
"\n",
" <...>"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "UAoXOQifNJan"
},
"source": [
"Проведите эксперимент для 3-х разных моделей логистической регрессии с различными типами регуляризации:\n",
"1. $L_1$-регуляризация\n",
"2. $L_2$-регуляризация\n",
"3. Комбинированная регуляризация с параметром `l1_ratio=0.5`.\n",
"\n",
">*Рекомендации*\n",
">* Подберите диапазоны значений для гиперпараметра `C`. Не берите слишком узкие, чтобы видеть на графике всю картину. Для слишком широких границ придётся брать больше точек.\n",
">* Вам не нужна очень частая сетка гиперпараметра `C`. При отладке кода можно вообще использовать сетку из 2-3 значений.\n",
">* Вы можете столкнуться с различными ошибками и `warning`-ами (например, неверный `solver`, отсутствие сходимости, и т.д.) Постарайтесь настроить гиперпараметры модели таким образом, чтобы ошибки исчезли, а количество предупреждений было минимальным.\n",
">* Для ускорения работы программы можно использовать параллельные вычисления, передав аргумент `n_jobs` в модель. Это особенно полезно при запуске на локальном компьютере, так как Google Colab предоставляет лишь два ядра ЦПУ по-умолчанию."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "DQ6eN1k1RUqm"
},
"source": [
"Нарисуйте треки коэффициентов моделей в зависимости от `C`. Легенду можно сделать общую, если все графики помещаются на экране. Отразите в ней наименования признаков для соответствующих коэффициентов. Сделать красиво могут помочь заметки [отсюда](https://stackoverflow.com/questions/4700614/how-to-put-the-legend-outside-the-plot)."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/",
"height": 579
},
"id": "BbW63vbvDI0m",
"outputId": "a7d1e856-c3ce-4c83-cfc6-e85197c987c6"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "bYpm-quhZoW7"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "316NMxZZZrcO"
},
"source": [
"Нарисуйте зависимости точности предсказания от `C` на обучающей и тестовой выборках. Скомпонуйте всё на 2-3 графиках. Горизонтальными линиями, отметьте точность модели без регуляризации на трейне и тесте."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/",
"height": 359
},
"id": "YU449ztgFoFE",
"outputId": "2f9b0e0d-fc36-44dd-a7a3-f91634f1ac90"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "zdaFidTycI0A"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "ttRGg-jfWr6h"
},
"source": [
"Установите гиперпараметры логистической регрессии, при которой достиглось оптимальное качество. Визуализируйте точность её работы в зависимости от номера батча. Сравните с моделью без регуляризации. Сделайте выводы.\n",
"\n",
"> 📌 *Замечание.* Имейте в виду, что точность на обучающей выборке должна оставаться близкой к 1. Это несколько противоречит классическому подходу, когда для борьбы с переобучением стараются одновременно улучшать метрику на тесте и ухудшать на трейне. В нашем случае следует предполагать (и надеяться), что система электронного носа спроектирована правильно, и газы хорошо отделяются друг от друга, пока датчики ещё \"свежие\". В таком случае три кита хорошей модели это:\n",
"> 1. Точность на трейне близка к 1\n",
"> 2. Высокая точность на первых тестовых батчах\n",
"> 3. Слабый спад точности с течением времени."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "fmliJ8swWr6i",
"outputId": "52fc89b5-c38d-4a97-9b51-c5cc482fb976"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "ptEn6GlqWr6i"
},
"source": [
"Сделайте общий вывод по задаче. Есть ли пользва от регуляризации с точки зрения метрики? Получается ли удовлетворить всем трём перечисленным условиям одновременно?\n",
"\n",
"> 📌 *Замечание.* Учитывайте, что мы свели задачу классификации 6 газов к бинарному случаю. Поэтому результаты могут сильно различаться при разных разбиениях. Это вполне логично: дрейф сенсоров крайне плохо предсказуем, и не обязан одинаково влиять на способность системы различать разные газы."
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "KFfJAtERWr6i"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "EWlq9RI9ju0A"
},
"source": [
"## Задача 3 (продолжение)\n",
"\n",
"Продолжаем работать с этим датасетом."
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "kJH-9G3-Wr6i"
},
"source": [
"### 1. Число обусловленности\n",
"Исследуйте зависимость числа обусловленности от параметра `C` для $L_1$-регуляризации. Постройте соответствующий график."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "OAeCSoe2mPY2"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "1PhVrxvgHAOs"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "pSznT1sEHEpg"
},
"source": [
"### 2. Предсказание вероятностей\n",
"\n",
"Исследуйте распределение предсказываемых вероятностей для логистической регерессии с регуляризацией и без.\n",
"\n",
"Для начала, реализуйте функцию, которая будет обучать логистическую регрессию с наиболее оптимальным `C` и возвращать предсказание вероятности для касса $0$. Для этого у всех классификаторов `sklearn` предусмотрен метод `predict_proba`."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "d_M3dVenWr6j"
},
"outputs": [],
"source": [
"def get_proba_distr(\n",
" X_train: pd.DataFrame,\n",
" y_train: np.ndarray,\n",
" X_test: pd.DataFrame,\n",
" C: float = np.inf\n",
") -> Tuple[np.ndarray, float]:\n",
"\n",
" <...>"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "kRwdiqLKWr6j"
},
"source": [
"Сравните гистограммы распределения предсказанных вероятностей для двух указанных моделей. Используйте первый тестовый батч."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "UhIi0G7gWr6j",
"outputId": "c6250a45-268c-40c2-8c81-ca881bcb5482"
},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "LFm8OFFcS6FJ"
},
"source": [
"**Вывод:**"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "tGnKjixiWr6j"
},
"source": [
"Постройте аналогичные гистограммы для ещё двух тетовых батчей. Сделайте выводы. Меняет ли регуляризация распределение вероятностей?"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {
"id": "25uGJzVOWr6j"
},
"source": [
"**Вывод:**"
]
}
],
"metadata": {
"colab": {
"provenance": []
},
"kernelspec": {
"display_name": "stats",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.12.7"
}
},
"nbformat": 4,
"nbformat_minor": 0
}